概要
ローカルLLM（Ollama / llama.cpp）やRAGアプリケーションを構築する際、CPUはGPU推論を支える処理基盤として重要な役割を担います。トークン化やEmbeddingの前処理、GPUへの転送制御、ベクトルDBのI/Oなど、推論パイプライン全体のスループットと安定性はCPU側の設計にも左右されます。
第12世代の Core i9-12900 と第13世代の Core i7-13700 について、AI用途での性能・安定性・冷却特性の違いをDigitalBaseの観点から整理します。あわせて、RTX 4060 を組み合わせた場合の検証結果を示します。
長時間稼働する社内AI基盤では、冷却性とメモリI/Oの安定性に優れる Core i7-13700 が選定候補です。
スペック比較
| 項目 | Core i9-12900 | Core i7-13700 |
|---|---|---|
| コア構成 | 8P + 8E（16C / 24T） | 8P + 8E（16C / 24T） |
| 最大クロック | 5.1GHz | 5.2GHz |
| キャッシュ | 30MB | 30MB |
| TDP | 125W | 125W |
| AVX-512対応 | 一部BIOSで有効（非公式） | 非対応（標準で無効） |
スペックは近いものの、第13世代では スケジューラ・キャッシュ制御・DDR5対応の最適化 が進められています。その結果、同一構成でもメモリ転送効率と長時間稼働時の安定性に差が生じます。
AI推論での実効性能差
- Llama 3 8B〜13Bクラス の推論では、i7-13700が平均で約5〜10%高速です。
- i9-12900はAVX-512を有効化できる場合に一部有利ですが、多くのマザーボードでBIOS上無効化されており、実用環境で前提にはできません。
- CPU単体での推論速度（20Bクラス） はいずれも2〜3 tok/s前後です。ただし第13世代のほうがサーマルスロットリング（熱による性能低下）が起きにくい傾向が確認されています。
RAG・GPU併用時の差
GPUを利用する構成でも、CPUは以下の処理を担います。
- トークン化・Embeddingなどの前処理
- GPU転送制御（PCIe帯域の最適化）
- DB I/O（PostgreSQL・pgvectorなど）
i7-13700は メモリI/Oの効率化とスケジューラ改善 により、GPUへの転送・制御処理が安定します。特にOllamaやllama.cppで長時間稼働させる場合、CPU側の負荷が均等に分散され、トークン出力速度（tok/s）が約10%改善 する傾向が確認されています。
発熱・冷却・安定性
| 要素 | Core i9-12900 | Core i7-13700 |
|---|---|---|
| 消費電力 | 高め（ピーク時 最大241W） | 約15%低減 |
| 発熱傾向 | 高温時にクロックが低下しやすい | 安定して高クロックを維持 |
| ミニPCでの相性 | △ | ◎ |
i9-12900はピーク性能が高いものの、ミニPC構成では冷却能力が追いつかず、クロックダウンが発生しやすい傾向があります。一方でi7-13700は 発熱が少なく安定稼働するため、NUCや小型筐体との相性が良好 です。
RTX 4060併用時のAI推論比較
| 構成 | Llama 3 8B | Llama 3 13B | Llama 3 20B |
|---|---|---|---|
| i9-12900（CPUのみ） | 約3 tok/s | 約2 tok/s | 約1.3 tok/s |
| i7-13700（CPUのみ） | 約3.3 tok/s | 約2.2 tok/s | 約1.4 tok/s |
| i9-12900 + RTX 4060 | 約27 tok/s | 約19 tok/s | 約9 tok/s（CPU一部併用） |
| i7-13700 + RTX 4060 | 約29 tok/s | 約20 tok/s | 約9.5 tok/s（安定動作） |
GPUを追加すると両者の差はほぼ誤差の範囲に収まります。ただし i7-13700構成のほうが熱設計に余裕があり、長時間連続推論時の速度低下が少ない 点が実運用上の差となります。特にRAG＋API構成で24時間稼働させる場合は、冷却・安定性の観点からi7の選定が適しています。
選定指針
| 目的 | 推奨CPU | 理由 |
|---|---|---|
| RAG・チャットボット構築 | Core i7-13700 | メモリ帯域効率と冷却性に優れる |
| 20B以上の大規模モデル推論 | Core i9-12900 | AVX-512を活かせる場合に限り有利 |
| GPU併用・長時間稼働 | Core i7-13700 | 安定動作・低発熱・総合バランスが良好 |
要点
Core i9-12900はピーク性能を重視する実験用途に適し、AVX-512を活用できる限定的な条件下では大規模モデルのCPU推論で優位性を示します。一方で Core i7-13700は冷却性・安定性・GPU連携のバランスに優れ、ローカルLLMやRAG環境の常時稼働構成として実用的 です。RTX 4060を組み合わせる場合も、CPUはi7クラスで十分に性能を引き出せます。
社内AI基盤のCPU選定では、単体スペックに加え、推論パイプライン全体での安定稼働を評価する必要があります。